OneShot: Index-in-Ranking with Neural Scoring for Large-Scale Retrieval
OneShot：面向大规模检索的索引排序联合学习与神经评分扩展
🧭 检索阶段索引-排序联合学习 ★ 深度解读
Meta Platforms, Inc.
首个端到端可训练的检索索引框架，将索引学习与排序目标对齐，并通过神经评分突破点积瓶颈，已在 Instagram 全量部署。
📌 工作参考价值（4 点）
- 端到端联合训练索引与排序：可将聚类中心作为可训练参数，与推荐损失（如 SSM）直接联合优化，通过直通估计器（STE）解决离散分配的梯度问题，消除先训练再聚类的错位。
- 在检索阶段引入非线性交互：使用小型 DNN 替代点积计算用户-物品分数，并通过 segment-wise 多路矩阵乘法控制计算复杂度，可在召回粗排或向量检索中提升表达能力。
- 全局索引平衡策略：利用随机组合优化导出的代理损失，通过维护全局硬分配统计量并用软分配回传梯度，能有效防止索引坍塌、保持聚类均匀，适用于大规模物料库的检索效率保障。
- Engagement ID 优于离线 Semantic ID：实验表明，端到端学出的 EID 在召回和聚类平衡性上远超传统语义 ID；若无法完全替换，可先冻结码本、仅学习物品到 ID 的分配（Hybrid 方式），也能恢复大部分收益。